課程首頁 / Part I 影像處理基礎 / W2 Camera Pipeline 與 Colab Webcam

Week 2 · Part I 影像處理基礎

W2 Camera Pipeline 與 Colab Webcam

「同一個模型,為什麼換一顆 camera、換一個場景,結果就變差?」很多人以為 CV 問題都在模型,但真正第一個 bug 常常在 camera。本週帶你走完「光 → lens → sensor → raw → ISP → image」的全管線,並架起 Colab + 本地 Webcam 即時串流(後面所有即時實驗的基礎)。

本週要做的事

順序內容預估時間
1為什麼先懂 Camera (Ch.1)15 min
2光學成像與曝光 — 光圈/快門/ISO trade-off (Ch.2)40 min
3Sensor 把光變成資料 — Pixel/SNR/Rolling Shutter (Ch.3)30 min
4ISP Pipeline — Bayer/Demosaic/sRGB (Ch.4)30 min
5Camera 介面 — MIPI/USB/UVC (Ch.5)15 min
6動手:Colab 連本地 webcam 串流40 min
7銜接第三週 Pixel Processing (Ch.6)10 min

教材檔案

六大章節重點

Ch.1 | 為什麼 CV 課程一開始要先懂 Camera

  • 電腦視覺 ≠ 直接理解世界,理解的是相機輸出的資料
  • Garbage In, Garbage Out:過曝、模糊、低照、rolling shutter 都影響後續辨識
  • 本週主線:光 → lens → sensor → raw → image/video

Ch.2 | 光學成像與曝光

  • 顏色 ≠ 物體屬性:光與材料交互作用後的結果(紅蘋果在紅光、白光、藍光下不同)
  • Pinhole / Aperture / Lens:成像第一個 trade-off — 清楚 vs 亮度
  • 三角曝光:Exposure Time × Aperture × Gain。短曝光不足、長曝光糊、高 gain 噪聲
  • Motion Blur:曝光時間 × 移動速度

Ch.3 | Sensor 把光變成資料

  • Fill Factor:不是全部 pixel 面積在感光,還有讀取電路
  • SNR:光越多 SNR 越好,大 sensor 低光表現好
  • Rolling vs Global Shutter:高速物體歪斜的原因
  • 取樣 (Sampling):相機輸出是離散 sample,不是連續場景

Ch.4 | Color / Raw / ISP Pipeline

  • Bayer Filter:50% G + 25% R + 25% B,單一 pixel 只有 1 色
  • Demosaic:用鄰近 pixel 估算缺失通道 — 你看到的彩色影像是重建出來的
  • Camera Response:radiance → pixel value 不是線性,sRGB 含 gamma 校正
  • ISP Pipeline:Raw → Demosaic → White Balance → Color Correct → Tone/Gamma → Output
  • 同 sensor + 不同 ISP → 顏色與細節表現不同 (這是各家手機相機差異來源)

Ch.5 | Camera 介面與平台對應

  • 手機模組:MIPI CSI-2
  • USB Webcam:USB / UVC ← 本週我們用這個
  • MCU 開發板:Parallel / CSI
  • 工業相機:LVDS / Camera Link

Ch.6 | 銜接第三週

從光到資料,六個關鍵步驟。下週 W3 接著處理「拿到 raw/image 之後怎麼對像素值動手」 — Brightness、Contrast、Gamma、直方圖、卷積濾波。

Colab + Webcam 即時串流架構

本週的核心動手部分。詳細步驟在 補充教材。重點預告:

  • 雲端架構:Webcam → Base64 → Google 雲端 → Python → Base64 回傳 → 顯示。延遲高,高解析常 crash
  • Local Runtime 架構:Colab 只送程式碼,影像流完全本地處理。零延遲,完整控制硬體
  • 4 步驟建置:Conda 環境 → 套件安裝 → CORS 啟動 → Colab 連線
  • 關鍵地雷:必須關閉瀏覽器網址列相機授權,否則資源衝突

W2 作業 | USB Camera 即時串流

一、作業目標

建立 Colab + Local Runtime + 本地 webcam 即時串流環境,確認後續所有「即時影像實驗」的基礎建設可運作。

二、作業內容

  1. 依 補充教材 4 步驟建置 Local Runtime
  2. 用 Colab 連到本機 Jupyter (右上角圖示變綠色勾勾)
  3. 跑底層除錯腳本,列出可用攝影機 index
  4. 用 cv2.VideoCapture 開啟 webcam 看畫面

三、繳交內容

串流成功畫面的截圖(畫面要有自己),確認功能正確。

四、注意事項

  • 關掉所有相機程式(OBS、Zoom、Teams)
  • 瀏覽器網址列若有相機授權記錄,點 ⓘ 關閉
  • Windows 用 DSHOW backend: cv2.VideoCapture(0, cv2.CAP_DSHOW)
  • numpy 鎖 numpy<2,避免相容性問題
  • port 8888 被占用換 8889

學生檢核表

  • 我理解 ISP Pipeline 的 5 個處理步驟
  • 我能說明 Bayer Filter 與 Demosaic 的關係
  • 我能說出「曝光三角」三個參數的取捨
  • Local Runtime 建置完成,Colab 連得到本機 Jupyter
  • 能用 webcam 即時看到畫面
  • 串流截圖已準備好(畫面有自己)

下週預告 (W3)

本週理解了「pixel 從哪裡來」,下週進入「怎麼操控 pixel 的值」:

  • 影像格式 (JPEG/PNG/H.264 壓縮原理)
  • 單點運算 (Brightness/Contrast)
  • Gamma 矯正 + LUT 加速
  • 直方圖 / CLAHE / Otsu 閾值化
  • 卷積濾波 (高斯/雙邊/銳化)